esp@cenet document view 



Page 1 of 1 



System for monitoring eyes for detecting sleep behavior 



Publication number: DE19621435 
Publication date: 1996-12-05 



Inventor: 

Applicant: 

Classification: 

- international 

- european: 



LIANG CHENG-CHUNG (US); FANG MING (US); 

SINGH AJIT (US) 

SIEMENS CORP RES INC (US) 



A61B3/113; A61B3/113; (IPC1-7): B60K28/02 
A61B3/113 

Application number: DE19961021435 19960528 
Priority number(s): US19950459148 19950602 



Also published as: 

US5570698 (A1) 
FR2734701 (A1) 



Report a data error here 



Abstract not available for DE1 9621 435 

Abstract of corresponding document: US5570698 

A system for monitoring eyes of an individual 
includes a human interface for obtaining images 
of the individual and for providing feedback to the 
individual and a processor for analyzing the 
images. The processor transforms an image 
sequence into a one dimensional signal by 
extracting relevant features from the images. 
Analysis of the signal generated then occurs to 
detect sleepiness. Transformation of the image 
sequence includes eye localization, eye tracking 
and eye motion signal generation. The system 
takes advantage of the relatively high horizontal- 
contrast density of the eye region to determine 
eye positions in a greyscale image of a human 
face. 
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@ Verfahren und Vorrichtung zum Oberwachen von Augen fur die Erfassung eines Schlaf rigkeitszustands 

@ Das beschriebene System zur Oberwachung der Augen 
einer Person weist eine Schnittstelle zu dem Menschen, die 
zur Gewinnung von Bildern von der Person und zur Bereit- 
stellung einer Ruckkopplung zu der Person dient, und einen 
Prozessor fur die Analyse der Bilder auf. Der Prozessor 
wandelt eine BHdfolge in ein eindimensionales Signal durch 
Herausgreifen von relevanten MerkmaJen aus den Bildern 
urn. Die Analyse des erzeugten Signals findet dann zur 
Erfassung der Schlafrigkeit statt. Eine Transformation der 
Bildfolge beinhaltet die Augenlokalisierung, die Augenver- 
folgung und die Erzeugung eines Augenbewegungssignais. 
Das System nutzt die relativ hohe Horizontalkontrastdichte 
der Augenregion fur die Ermittlung der Augenpositionen in 
einem Grauskala- bzw. Graustufenbild eines menschlichen 
Gesichts aus. 
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Bescfareibung 

Die vortiegende Erfindung bezieht sich auf die Bestimmung von Augenpositionen und insbesondere auf eine 
zuverlassige, nicht invasive Vorrichtung (System) zum Oberwachen eines Indiyiduums, zum Verarbeiten von 
Bildern des Individuums und zum Bereitstellen einer Ruckkopplung zu dem Individuum. 

Die Oberwachung der Schlafrigkeit und des Schlafs ist traditional fur Psychologen und Neurophysiologen 
von Interesse, die die Auswirkungen von Schlafmangel, SchlafstSrungen usw. auf das Verhalten untersuchen. 
Seit kurzem ist ein starkes Interesse hinsichtlich der Oberwachung der Schlafrigkeit und der MOdigkeit bei der 
Arbeit, — und der menschlichen Fehler, die hieraus resulueren, vorhandea Einige der Kategorien von Berufs- 
gruppen, die dieses Interesse direkt hervorgerufen haben, sind niedergelassene Arzte oder Klinikarzte, Fahrer 
von Lastwagen und Zfigen, Flugzeugpiloten, Luftverkehrskontrolleure bzw. Flugzeuglotsen, FlieBbandarbeiter, 
die mit monotonen Arbeiten beschaftigt sind, usw. Die nachstehenden Beispiele und statistischen Aussagen sind 
aus sich selbst heraus verstandlich: Im Jahr 1987 flog ein Handelsflugzeug, das auf dem Internationalen Flugha- 
fen von Los Angeles landen sollte, in einer H6he von ca. 9600 Metern (32 000 FuB) fiber den Flughafen hinweg 
und flog fiber den Pazifik weiter. Das Flugzeug, das mit Autopiloten geflogen wurde, befand sich bereits 
ungefahr 160 km (100 Meilen) entfernt fiber dem Ozean, bevor die Fluglotsen einen Weg fanden, in das Cockpit 
emen akustischen Alarm zu senden. Die gesamte Mannschaft war in dem Flugdeck eingeschlafen. In den 
Vereinigten Staaten von Amerika werden jedes Jahr geschatzt insgesamt 6500 Todesfalle in Verbindung mit 
Kraftfahrzeugen — 13% des jahrlichen Tributs — durch Fahrer hervorgerufen, die am Lenkrad einschlafen. Die 
Ermfidung und menschliche Fehler steQen den fiberwiegenden Grund von Kraftf ahrzeugunfallen dar. Wahrend 
die Sicherheit von Fahrera und Passagieren von Fahrzeugen in den letzten Jahren verstarkte Aufmerksamkeit 
erf ahren hat (Airbags und Bremsen mit ABS-Systemen wurden verf figbar und erschwinglich), haben die Herstel- 
ler von Fahrzeugen erst seit kurzem damit begonnen, sich der Erf as sung der Mfidigkeit zuzuwenden. Bei einer 
kfirzlichen Umfrage von CNN bei 1000 Lastwagenf ahrern gaben 3 von 5 Fahrera zu, daB sie in dem Monat, der 
der Umfrage vorherging, hinter dem Lenkrad eingeschlafen waren. Lastwagenf ahrer Oberschreiten fiblicherwei- 
sediezugelasseneMaximaIzahivon80FahrstundenjeWoche, 

Auch wenn die soziologischen Probleme bei der Uberwachung der Mfidigkeit und des Schlafes bei der Arbeit 
ungewiB bleiben und ernsthafte Oberlegungen erfordern, ist der technische Fortschritt bereits auf dem klaren 
Weg, eine solche Oberwachung zu ermdglichen. HSufig wird ein Elektroencephalograram (EEG) in Verbindung 
mit einem Elektrookulogramm (EOG) zur Messung von Augenbewegungen sowie ein Elektromyogramra 
(EMG) zur Messung des Muskeltonus in dem Kinn eingesetzt Dieser Sachverhalt ist in "Work Hours And 
Continuous Monitoring Of Sleep", von T. Akerstedt, RJ. In Broughton und RJ>. Ogilvie, "Sleep, Arousal and 
Performance", Birkhauser, Boston, 1991, beschriebea Insbesondere die Augenbewegungen sind bei der Erfas- 
sung des genauen Zeitpunkts des Einsetzens des Schlafs nfitzlich, wieesin "Eye Movements And The Detection 
Of Sleep Onset", von RJD. Ogilvie, D.M. McDonagh und &N. Stone, "Psychophysiology", VoL 25, Nr. 1, Seiten 
81-91, 1988, beschrieben ist Eine weitere Alternative wurde von Nissan entwickelt, die die Auswertung von 
speziellen Lenkmustera enthSlt, die von einem ermfideten Fahrer hervorgerufen werden. Dies ist in "Electronic 
Applications For Enhancing Automotive Safety", von S. Aono, "Vehicle Electronics in the 90V. Proceedings of 
the International Congress on Transportation Electronics", Seiten 179— 186, Oktober 1990, erl&utert 

Auch wenn technologische Fortschritte dazu gefuhrt haben, daB eine Oberwachung des Schlafs auf der 
Grundlage eines EEGs recht zweckmaBig geworden ist (es sind tragbare EEG-Schlaf-Rekorder in Taschengrd- 
Be verffigbar), stellt dies ira wesentlichen eine invasive Technik dar. Die Person tr§gt an seinem/ihrem Kopf 
angebrachte Elektroden. Bei Anwendungen wie etwa der Oberwachung des Schiafrigkeitszustands eines Fahr- 
zeugfuhrers ist eine nicht invasive Methode wfinschenswerter. Eine visuelle Oberwachung der Augen scheint die 
Aussicht mit sich zu bringen, eine derartige nicht invasive Methode bereitzustellen. Von besonderem Interesse 
ist die Oberwachung von Fahrera (von Autos, Lastwagen, Zfigen usw.) und die Fahigkeit, einen Alarm auszulo- 
sen, wenn der Fahrer schlafrig erscheint FQr eine visuelle Oberwachung besteht eine offensichtliche und 
natfirliche Wahl darin, die Bewegung des Auges einer Person dazu auszunutzen, den Mfidigkeitszustand zu 
erf assen. Dieser Ansatz muB korrekt und zuverlassig durchgefuhrt werden. 

Die Beziehung zwischen dem Verhalten des Auges und dem Schiaf reicht bis in die ersten Anf angstage der 
Schlafforschung zuruck. Miles schrieb bereits 1929 in seinem grundlegenden Aufsatz: "Der Unterschied zwi- 
schen der Wachheit und der Mfidigkeit ist nirgends evidenter als in dem Zustand und dem Verhalten des Auges 
. . . ". Miles hat rollende Augenbewegungen wahrend der Mfidigkeit gefilmt und diese zur Charakterisierung des 
Schlafs herangezogen. Wahrend einige der fruheren Arbeiten bezuglich der Oberwachung der Augen visuell 
durchgefuhrt wurden (durch Aufzeichnung von Laufbildern bezfiglich des Auges auf einem Film), wurde es bald 
durch die Oberwachung auf der Grundlage von Elektroencephalogrammen oder Elektrookulogrammen ersetzt 
Praktisch bei keiner der aktuellen Forschungen bezfiglich des Schlafverhaltens wird eine visuelle Oberwachung 
der Augen eingesetzt Dies liegt teilweise daran, daB eine hohe Variability bei der Beziehung (Correlation) 
zwischen dem externen Erscheinungsbad des Auges und den physiologischen Zustanden des Schlafes existiert, 
und auch daran, daB keine Ausstattung zur Verffigung steht, die quantitative Daten bereitsteDen kann. Jedoch 
k6nnen auf der Grundlage der Beobachtung von schlafenden Personen sowie aufgrund der Interakdon mit 
einigen der Experten die nachstehenden Feststellungen bezfiglich des Verhaltens des Auges wahrend des 
Wachzustands, der Schlafrigkeit und dem Einsetzen des Schlafes getroffen werden: 

1. In dem Zustand der Wachheit blinzeln die menschlichen Augen. Die durchschnittliche Blinzelrate (durch- 
schnittliche Anzahl von Blinzelbewegungen bzw. Lidschlagen je Minute) verandert sich von Individuum zu 
Individuum betrachtlich. Jedoch kann sich auch bei einem jeweiligen wachen Individuum die Blinzelrate 
bzw. die Lidschlagrate als Funktion der Zeit in Abhangigkeit von Faktoren wie etwa einem nervosen 
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Zustand verandern. Die Blinzeldauer bzw. Lidschlagdauer (die Zeit, die das Augenfid zum SchlieBen und 
zum erneuten Offnen bendtigt) liegt in der GroBenordnung von einem Drittel emer Sekunde. 
2. Die Udschlagrate des Auges vergrdBert sich wahrend der MQdigkeit Bei der Anstrengung zur Bekamp- 
fung des Schlafes kneifen die Personen oftmals ihre Augen zusammen bzw. schielen, und blinzeln haufig. 
Auch wenn sich die durchschnittlichen Udschlagraten von Individuen betrachtiich unterscheiden. gibt es m 5 
der Bevolkerung einen markanten Wechsel der Udschlagrate von dem wachen Zustand zum schlafngen 
Zustand. Die Udschlagrate kann sich vom wachen Zustand zum schlafngen Zustand urn einen Faktor von 
zweiodermehrvergrofiern. . 

3 Wahrend des radden Zustands werden die Augenlider schwer und verhalten sich schwerf aihg bzw. trage. 
Die Zeitdauer, die die Augenlider wahrend des schlafngen Zustands zum SchlieBen bendtigen, ist sehr viel 10 
linger als die Blinzeldauer bzw. Udschlagdauer; sie liegt in der GrdBenordnung von einigen wenigen 
Sekunden (in dem Bereich von einer bis vier Sekunden). Bei dem Einsetzen des Schlafs kann sich das 
Augenlidnachseinem SchlieBen offnen oder nicht 

4. Es ist mdglich, mit voilstandig geoffneten Augen eingeschlaf en zu sein. Em klemer Bruchteil der Bevdlke- 
rung zeigt dieses Verhalten. , . t , 15 

5. Langsame Augenbewegungen (SEM - slow eye movements) treten wahrend der MQdigkeit auf und 
verschwinden bei dem Beginn eines durch das Verhalten und physiologisch definierten Schlafes. Dieses 
Muster ist ein bestandiger Anzeiger fur den Schlafbeginn bei groBen Bevolkerungea 

Fur viele Anwendungen mit visueller Oberwachung und Beobachtung ist es wichtig, die Poritionen eines 20 
menschlichen Auges aus einer Bildfolge zu bestimmen, die ein menschliches Gesicht enthalt bzw. abbildet 
Sobald die Positionen des menschlichen Auges bestimmt sind, k6nnen aDe anderen wichtigen Merkmale des 
Gesichts wie etwa die Positionen der Nase und des Munds leicht bestimmt werden. Die grundlegende geometn- 
sche Gesichtsinformation wie etwa der Abstand zwischen zwei Augen, der GroBe der Nase und des Munds 
lassen sich weiterhin herausgreifen. Diese geometrische Information kann dann fur eine Vielzahl von Zwecken 25 
wie etwa fftr das Erkennen eines Gesichts aus einer gegebenen Gesichtsdatenbank emgesetzt werden. Das 
System zur AugenlokaUsierung kann auch direkt fur die Erfassung des Schlafrigkeitszustands bzw. Schlafzu- 
stands eines Fahrzeugf Qhrers eingesetzt werden. . 

Es existieren einige Methoden zur Lokalisierung des oder der Augen auf der Grundlage der Hough-Transfor- 
mation, von Geometrie- und Symmetriefiberprufungen und von deformierbaren Modellen. Die meisten dieser 30 
Methoden sind aber gegenfiber Anderungen der Gestalt oder Form nicht ausreichend stabiL Diese Systeme 
erfordern weiterhin ein extensives AusmaB an ComputerverarbeitungszeiL Weiterhin kann keines dieser vor- 
handenen Systeme Augen lokalisieren, wenn die Augen geschlossen sind. 

Die vorliegende Erfindung schafft ein zuverlassiges, nicht invasives System bzw. eine solchen Vornchtung zur 
Oberwachung der Augen einer Person, wobei das System bzw. die Vornchtung eine menschliche Schmttstelle 35 
und auch einen Prozessor aufweist Die menschliche Schnittstelle bzw. die SchnittsteUe zum Menschen weist als 
Minimum eine Kamera zur Beobachtung einer Person und ein Warnsystem fur die Alarmierung der Person bei 
dem Einsetzen des Schlafs auf. Der Prozessor wird zusammen mit der Kamera zur Transformierung oder 
Urawandlung einer Bildfolge in ein eindimensionales Signal durch Herausgreifen von relevanten Merkmalen aus 
den Bildern eingesetzt Der Prozessor analysiert dann das erzeugte eindimensionale Signal zur Erfassung der 40 
Schlafrigkeit bzw. Einschlafbereitschaft Die Urawandlung der Bildfolge beinhaltet die LokaUsierung des oder 
der Augen, die Augenverfolgung und die Erzeugung eines Augenbewegungssignals. Bei der AugenlokaUsierung 
werden Filter eingesetzt, die die relativ hohe Horizontalkontrast-Dichte der Augenregion vorteilhaf t ausnutzen, 
um die Augenpositionen in einem Graustufenbild eines menschlichen Gesichts zu bestimmen. Die Filter beinhal- 
ten oder sind ein Filter zur Berechnung des horizontalen Contrasts, ein Filter zur Bestimmung der Horizontal- 45 
kontrastdichte, eine Beurteilung der Gesichtsgeometrie und eine Bestimmung der Augenposition. 

Die Erfindung wird nachstehend anhand von Ausfuhrungsbeispielen unter Bezugnahme auf die Zeichnungen 
n§hererlautert 

Fig. 1 zeigt ein AusfQhrungsbeispiel der vorhegenden Erfindung. 

Fig. 2 veranschaulicht den Prozessor, der bei der vorliegenden Erfindung eingesetzt wird, 50 

Fig. 3 zeigt ein Abiaufdiagramm fur die Verarbeitung bei der vorliegenden Erfindung, 

Fig. 4 zeigt ein Abiaufdiagramm des Filters zur AugenlokaUsierung bei der vorliegenden Erfindung, 

Fig. 5 veranschaulicht die Eff ekte des Filters zur AugenlokaUsierung gemaB der vorliegenden Erfindung, 

Fig. 6 veranschaulicht experimenteUe Ergebnisse der Filterung gemaB der vorliegenden Erfindung, 

Fig. 7 zeigt die Positionsbestimmung des Auges unter Einsatz einer Graustufen-Augenlehre in Ubereinstim- 55 

mung mit der vorliegenden Erfindung, 
Fig. 8 zeigt Teile einer BUdfolge, wobei der Verfolgungskasten oder -rahmen bzw. die Verfolgungsraarkierung 

den Bildern Qberlagert ist, 

Fig. 9 zeigt die Verfolgung oder Verfolgungsmessung und die Messung des Blockunterschieds bezQglich der in 
Fig. 8 dargestellten Bildfolge, 60 

Fig. 10 zeigt ein normales Blinzeln des Auges bzw. einen normalen Augenlidschlag und die entsprechenden 
Kurven T und D und 

Fig. 1 1 zeigt eine Abf olge, wenn die Person schlafrig ist, sowie die entsprechenden Kurve T und D. 

Zur Festlegung der Anforderungen an das System fQr <he visuelle Oberwachung von menschlichen Augen fOr 
die Erfassung der Schlafrigkeit und des Schlafbeginns mflssen gewisse Annahmen getroffen werden. Das fQr das 65 
System in Betracht gezogene Szenarium besteht in dem FQhrerhaus bzw. der Fahrgastzelle ernes Wagens oder 
eines Lastwagens usw. 

Die Beleuchtungsbedingungen im Inneren eines Fuhrerhauses verandern sich mit dem Wetter, dem Umge- 
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bungslicht, der Farbung des Fensterglases, dem Monddach oder Sonnendach usw .. In der nachstehenden 
Tabelle ist als Beispiel eine vergleichende Betrachtung der Beleuchtungszustande bei manchen Qbtichen Situa- 
tionen dargestellL 



Mittags im Freien 


100.000 lux 


Dammerung im Freien 


7.000 - 12.000 lux 


Sonniger Tag im Inneren eines Autos 


5.000 lux 


Im Hans bei Helligkeit 


2.000 - 3.000 lux 


Durchschnittliche Helligkeit im Hans 


500 lux 


Nacht mit Mondschein im Freien 


50 tax 


Kerzenlichtdinner 


10 -20 tax 


Tnnerhalh eines Fahrzeugs bei Nacht 


5 - 10 lux 



Auf der Grundlage dieser Tabelle und der durchsehnittlichen Geometric eines FQhrerhauses bzw. der Fahrer- 
zelle raussen die nachstehenden Anforderungen durch das in Obereinstimmung mit der vorliegenden Erfindung 
stehende System zur Bildgewinnung erfuUt werden. 1) Das Qberwachende System mufi imstande sein, bei 
Umgebungsbeleuchtungs- bzw. helligkeitsbedingungen zwischen 5 lux und 5000 lux zu funktionieren. Zum 
Zwecke der Bereitsteilung einer minimal invasiven Umgebung muB eine aktive Beleuchtung, sofera Qberhaupt 
vorhanden, auBerhalb des sichtbaren Bereichs, vorzugsweise im Infrarotbereich liegen. Die gegenwartige Ka- 
mera eines Camcorders kann ein Bild aus einer Szene mit einer Beleuchtung von 1 lux gewinnen und kann sich 
auch an einen breiten dynamischen Bereich der Beleuchtungssituationen anpassen. 2) Falls eine CCD-Kamera 
als eine Abbildungseinrichtung eingesetzt wird, sollten die AbbQdungsparameter ein fokussiertes Bild des 
Gesichts des Fahrers aus einem Abstand von ungefahr 50 cm erzeugen und das Gesicht muB das Bild so weit wie 
moglich ausfullen. Anders ausgedruckt sollte das Bild so wenig Hintergrund wie mdglich enthalten, um die 
bestmogliche Aufldsung auf dem Gesicht und den Augen zu erzielen. Jedoch sollte das Gesichtsfeld der Kamera 
auch ausreichend groB sein, um die Anderung der Positionen des Gesichts des Fahrers bezflglich der Kamera zu 
uberdecken. 3) Die raumliche Aufldsung der Kamera muB imstande sein, die Merkmale aufzuldsen bzw. wieder- 
zugeben, die die Information bezuglich der Schlaf rigkeit bzw. MQdigkeit enthalten. Wie bereits in dem vorherge- 
henden Abschnitt erwahnt ist, schlieBen diese Merkmale die Augenlider und die Pupille ein. 4) Die zeitliche 
Aufldsung der Kamera muB dazu imstande sein, das dynamische Verhalten der vorstehend erwahnten Merkmale 
aufzuldsen bzw. wiederzugeben. Genauer gesagt sollte das Augenlid wahrend eines Blinzelns (lidschlag) nicht 
verschmiert sein (der Lidschlag kann bei normalen Personen sehr schnell sein und eine Drittel Sekunde betra- 
gen). Weiterhin kann es erforderlich sein, die Rollbewegung des Augapfels zu erfassen und zu messen, und zwar 
uber die Bewegungen der Pupille. 

Auf der Grundlage des dynamischen Verhaltens des Auges wahrend der Schlafrigkeit und dem Beginn des 
Schlaf es sollte das Bildanalysesystem in Obereinstimmung mit der vorliegenden Erfindung die nachstehenden 
Anforderungen erfullen. 1) Es muB dazu imstande sein, das Auge schnell zu iokalisieren und die Position 
kontinuierlich uber die Zeit hinweg zu verfolgen. Die Lokalisierung und Verfolgung des oder der Augen sollte 
unanf allig gegenfiber Anderungen der Form des Auges aufgrund einer perspektivischen Verzerrung sein. Falls 
Teile des Gesichts des Fahrers auBerhalb des Gesichtsfelds liegen, wie etwa wahrend des Ruckwartschauens 
oder RQckwartsfahrens, des seitlichen Schauens wahrend des Spurwechsels usw^muB das System imstande sein, 
das Auge erneut zu Iokalisieren, sobald es sichtbar wird. Eine der Annahmen besteht darin, daB eine Person dann, 
wenn sie sich nahe beim Schlafrigkeitszustand befindet, dazu tendiert, bewegungslos zu sein. Dies ist fQr das 
Oberwachungssystem gemaB der vorliegenden Erfindung wichtig, da die Gesichtsbilder in diesen Momenten 
sich nicht zu stark andern, so daB das System die Verfolgung nicht verliert, das heiBt die Verfolgung erhalten 
bleibL Es ist mdglich, daB das System die Verfolgung verliert, wenn eine Person eine grofie Bewegung durch- 
fuhrt Jedoch ist zu diesem Zeitpunkt anzunehmen, daB die Person sehr wach ist 2) Es muB imstande sein, das 
SchlieBen des Auges zu erfassen und die Zeitdauer von dem off enen zu dem geschlossenen Zustand zu messen. 3) 
Wahrend der Zeit, in der das Auge offen ist, sollte es (vorzugsweise) dazu imstande sein, die momentane 
Geschwindigkeit der Pupille zu messen. 4) Auf der Grundlage der Merkmale gemaB (1), (2) und (3) sollte es 
imstande sein, zu entscheiden, ob der Fahrer wach oder schlafrig ist 5) Die in den Punkten (1), (2) und (3) 
erwahnten Schritte ergeben eine "Merkmalsgewinnung* bzw. das Herausgreifen von Merkmalen. Die kombi- 
nierte "Rahmenrate* bzw. "Bild- oder Vollbildrate" fur diese Schritte sollte ausreichend hoch sein, damit nicht 
relevante Merkmale versaumt werden. 6) Der Schritt beim Punkt (4) stellt auf der anderen Seite die Aufgabe 
bzw. den Arbeitsvorgang der "Mustererkennungf dan Die Verarbeitungszeit fur diesen Schritt wird in Abhan- 
gigkeit von dem Verhalten der Person variabel sein. 

Die vorliegende Erfindung kann mehrere Ausftthrungsformen aufweisen. Ein derartiges AusfOhrungsbeispiel 
ist in Fig. 1 gezeigt und wird im folgenden beschrieben. Ein Individuum (Person) 10 wird durch eine Kamera 12 
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abgetastet, die mit einem Prozcssor 14 verbunden ist Ein kleiner LCD-Schirm 16 mit ausreichend hoher 
Aufldsung kann vorgesehen sein, um der Persoii 10 die klare Betrachtung seines eigenen Gesichts und der Augen 
zu ermdglichen. Weiterhin erm6glicht eine Steuereinrichtung 18 der Person die Einstellung des Betrachtungs- 
winkels und der Betrachtungsrichtung der Kamera 12 Ein Anzeiger 20 fQr Verfolgung/verlorengegangene 
Verfolgung informiert die Person daruber, daB sich die Kamera 12 nicht im Verfolgungszustand befindet und 5 
eine Einjustierung durch die Steuereinrichtung 18 bendtigt Ein Warnsystem 22 informiert die Person oder eine 
andere Person flber den Beginn des Schlafes. 

Die vorliegende Erfindung sollte so kompakt wie mSglich ausgeftthrt seia Ein kundenspezifisch angepaBter 
VLSI-Chip (Chip mit sehr hohem Integrationsgrad) kann als Prozessor 14 eingesetzt werden. Die hauptsachli- 
chen Komponenten des Prozessors enthalten gemiB der Darstellung in Fig. 2 einen Graustufen-Korrelator 24, 10 
eine Zentraleinheit (CPU) 26 und einen Speicher 28. Ein Video- Anzeigechip 30 ist ebenfafls fur die Anzeige des 
Bilds auf dem LCD-Schirm 16 (siehe Fig. 1) erforderlich. Die Kamera, die moglicherweise eine CDD-Kamera ist, 
sollte ausreichend klein sein, so daB sie die Sicht des Fahrers nicht behindert Die Anbringung der Kamera sollte 
mit einem Aufhangesystem zum Vermeiden von ubermaBigen Vibrationen versehen sein. Das System kann auch 
einen Ein/Aus-Schalter und einen Anzeiger fQr den Einschaltzustand aufweisea Die Spannungsquelle sollte eine is 
Gleichspannung von 12 V bereitstellen, falls die vorliegende Erfmdung in das Fahrzeug integriert ist Die 
Vorrichtung gemaB der vorliegenden Erflndung kann aber auch durch eine tragbare Batterie gespeist werden, 
falls es sich um eine eigenstandige bzw. unabhangige Vorrichtung handelt Der ideale Platz in dem Fahrzeug zur 
Anbringung dieser Vorrichtung befindet sich an der Oberseite der Armatur zwischen dem Lenkrad und dem 
Windschutzgitterbzw.derWindschutzscheibe. m 20 

Ein Ablaufdiagramm, das die in Obereinstimmung mit der vorliegenden Erfmdung stehende Verarbeitung 
zeigt, ist in Fig. 3 dargestellt Der vordersehige Abschnitt 32 wandelt eine Bildfolge in ein eindimensionales 
Signal (1-D-Signal) dadurch um, daB relevante Merkmale aus den Bildern herausgegriffen werden. Der riickseiti- 
ge Abschnitt 34 analysiert das von dem vordersehigen Abschnitt erzeugte Signal fur eine Erfassung der 
Schlafrigkeit Der vorderseitige Abschnitt kann in drei Aufgabenbereiche unterteilt werden: die Lokalisierung 25 
36 des oder der Augen, die Augenverfolgung 38 und die Erzeugung 40 eines Signals fQr die Augenbewegung. 

Aus den vorstehend erlauterten Annahmen erschlieBt sich, daB ein Bild ein Gesicht enthalt Es stellt ein 
SchlQsselelement der vorliegenden Erfindung dar, wie die Augenposition in diesem Bild zu lokalisieren ist 
Variable sind die Haltung und die Bewegung eines Fahrers, die Beleuchtungsbedingungen, Schatten und Hol- 
pern bzw. Schaukeln auf der StraBe. Alle diese sich verandernden Bedingungen beeinflussen die Robustheit bzw. 30 
Unanfalligkeit eines Verfahrens zur Erfassung der Augenposition. 

Bei der vorliegenden Erfindung wird ein Augenlokalisierungsfflter eingesetzt, wie es in einer gleichfalls 
anhangigen US-Patentanmeldung beschrieben ist, die hiermit durch Bezugnahme in den Off enbarungsgehalt der 
vorliegenden Anraeldung eingegliedert wird. Die grundlegende Idee bei diesem Ansatz besteht in der Benutzung 
des relativ hohen lokalen Intensitatskontrast der Augenregion in Graustufenbfldern, um hieraus die Augenposi- 35 
tion zu lokalisieren. Das Augenlokalisationsfilter besteht gemaB der Darstellung in Fig. 4 aus den vier nachste- 
hend erlauterten Elementen. Das Graustufenbild des Gesichts wird durch ein Filter 22 zur Fdterung des 
Horizontalkontrasts, ein Filter 44 fur die Horizontalkontrastdichte, eine Abschatzung bzw. Beurteilung 46 der 
Gesichtsgeometrie und einen Bestinimungsabschnitt 48 zur Bestimmung der Augenposition geleitet, um die 
Positionen des linken und des rechten Auges festzustellen. Ein typisches Graustufenbild bzw. Grauskalabild 40 
eines Gesichts, wie es in Fig. 5(a) gezeigt ist, wird durch das Horizontalkontrastfilter geleitet, wobei das 
entsprechende Ausgangsbild, das heiBt das binare Masken- oder Maskierungsbild, in Fig. 5(b) gezeigt ist Das 
binare Maskierungsbild wird durch das Filter fur die Horizontalkontrastdichte geleitet, wobei das Graustufen- 
Maskierungsbild, das die AusgangsgrSBe des Horizontalkontrastfntere darstellt, in Fig. 5(c) gezeigt ist Das 
Graustufen-Maskierungsbild wird dann durch die Gesichtsgeometriebeurteilung gefiltert, wobei eine a-priori- 45 
Information (vorhergehende Information) Ober die Geometrie von Merkmalen eines Gesichts benutzt wird, um 
die Augenpositionen zu erfassen und zu verifizierea Die Ergebnisse der Beurteilung der Gesichtsgeometrie und 
das Graustuf enbOd werden durch die Augenpositionsbestimmung bzw. durch den Bestinimungsabschnitt fQr die 
Augenposition geleitet, der die Augenpositionen verfeinert bzw. feiner auflost 

Diese Filterung bendtigt ungefahr 200 Millisekunden auf einem "Sparc 10* bei einem Bild mit 256 x 256 so 
Biidelementen (Pixel). Zwanzig Bilder von zehn Personen unter unterschiedlichen Beleuchtungen und Richtun- 
gen der Kamerabeobachtung wurden zum Testen dieser Fdterung eingesetzt und es wurden alle Augen korrekt 
erfaBt Einige experimentelle Ergebnisse sind in Fig. 6 gezeigt 

Der weitere wesentliche Teil der vorliegenden Erfindung ist die Augenverfolgung. Die Erfassung einer 
Augenbewegung von einem zum nachsten Bild (Vollbild) wird durch einen Suchvorgang (SuchprozeB) erreicht 55 
bei dem ein Bildblock mit dem Bild in dem aktuellen Bild bzw. Vollbild mit unterschiedlichen Verlagerungen 
gegenuber der ursprtaglichen Position korreliert wird Dieser ProzeB ist in "A Feature Tracking Method For 
Motion Parameter Estimation In A Model-Based Coding Application", von J. F. S. Yau und N. D. Duffy, "3d 
International Conference on Image Processing and its Applications", Warwick, UK, Juli 1989, Seiten 531-535, 
beschriebea AIs KorrelationsmaB wird die Summe der quadrierten Unterschiede zwischen den Intensitaten von 60 
Biidelementen in dem Block und dem vorhergehenden Bild eingesetzt Die Position des Bildblocks, die zu dem 
minimalen Wert des Korrelationsmafies fQhrt, wird als die neue Position des verfolgten Auges eingestuft Im 
einzeben sei hierbei angenommen, daB U, das heiBt ein Bildblock mit der GrdBe M x N Biidelementen, ein 
Unterbild bzw. Bildteil des aktuellen Voflbilds I(t) ist, und daB U f ein (M + 2p) x (N + 2p) Unterbild bzw. 
Bildteil aus dem nachsten Bild I(t + 1) ist, das bzw. der an der gleichen raumlichen Position wie U zentriert ist, 65 
wobei p die maximale zulassige Verlagerung in ganzen Zahlen von Biidelementen bzw. ganzzahligen Bildele- 
menteinheiten darstellt 

Die Korrelationsfunktion zwischen U und U r ist in folgender Weise defimert: 
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D(i, j) =t±-2 S ( u (a, n) -u r (a+i , n+j) ) 2 

Hierbei gilt -p £ U ^ p. D(i, j) ist eine mittlere Quadratf ehlerfunktion. Die Richtung des minimalen Fehlers ist 
durch (i, j) gegeben, fQr die Oft j) ein Minimum ist Der Parameter p sollte groB genug gewahlt werden, um die 
grdBtmogliche Bewegung abzudecken. Mit diesem Schema kann die Augenbewegung bei einer veraOnftig 
groBen Bewegung verfolgt werden, wie es bei dem in Fig. 8 dargestellten Beispiel gezeigt ist Die softwaremaBi- 
ge Realisierung dieses Ansatzes auf einera "Sparc 10" benotigt ungefahr 800 Millisekunden je Bild (bei einer 
Aufldsung von 256 x 256). 

Der weitere wesentliche Teil der vorliegenden Erfindung und zugleich auch der letzte Ten des vorderseiOgen 
Abschnitts der vorliegenden Erfindung besteht in der Erzeugung eines Augenbewegungssignak. Fur diese 
Erzeugung eines Augenbewegungssignak wird eraeut die Technik bzw. Methode eingesetzt, die bei der Augen- 
verfolgung angewendet wurde, das heiBt die Korrelationsfunktion. Jedoch liegt in diesem Fall eine Messung der 
Korrelation zwischen dem neuen verfolgten Bildblock in I(t) und dem wirklich ersten anfanglichen Block in 1(0) 
vor, bei dem angenommen wird, daB das Auge offen ist Die Kurve D (D-Kurve) in Fig. 9 ist das Ergebnis des 
Einsatzes dieser Messung bei der Folge gemfiB Fig. 8. Die Kurve T (T-Kurve) in Fig. 9 zeigt die Messung des 
Unterschieds zwischen dem aktueilen Vollbild und dem vorhergehenden Vollbild. Da der anf angliche Block ein 
geoffhetes Auge enMlt, zeigt ein groBer Unterschied in der Kurve D an, daB sich das Auge schlieBt Die 
Benutzung der Kurve T und der Kurve D wird nachstehend in grdBeren Einzelheiten erlautert 

Der beste Indikator fur die Feststellung, ob das Auge geschlossen oder gedffnet ist, ist die Flache des Auges. 
Eine Berechnung dieses Merkmals erfordert die exakte Position der Augengrenze. Falls jedoch lediglich die 
Blinzelrate bzw. Lidschlagrate und die Dauer von Interesse ist ist die exakte Grenze des Auges nicht so 
wesentlich. Ein Modell fur das offene Auge kann als eine Referenz gespeichert und fur einen Vergleich mit dem 
Rest der Bilder bzw. Vollbilder in einer Bildsequenz benutzt werden. Der Unterschied zwischen dem Referenz- 
bild und dem aktueilen Bild ist ein Indikator fur den Zustand des Auges. Der Unterschied wird klein sein, wenn 
das Auge gedffnet ist, und groB sein, wenn das Auge geschlossen ist FQr diesen Indikator ist die exakte Grenze 
des Auges nicht erforderlich. 

ADe Schemata oder Methoden fur die exakte Lokalisienmg der Augengrenze erfordern in berechnungsmaBi- 
ger Hinsicht sehr teure Operationen entweder bei der Vorverarbeitung oder bei der Verarbeitung selbst Sie 
erfordern weiterhin ein sehr unanfailiges Herausgreifen von primitiven Merkmalen aus Bildern* Der auf der 
Grauskala-Augenlehre basierende Ansatz ist einfach und effektiv, ist jedoch stufenempfindlich und auch be- 
leuchtungsempfmdlich. Ansatze, die auf einer Mehrzahi von Bildern und Kanalen basieren, stellen eine zusatzli- 
che Information bereit, mussen aber die zweifache oder eine noch grdBere Datenmenge verarbeiten, verglichen 
mit dem auf einem einzelnen Bild beruhenden Ansatz, Eine Combination von unterschiedlichen Ansatzen kann 
zur Verbesserung der Lokalisienmg eines Auges in storunanf alliger Weise eingesetzt werden. 

Zum Ansprechen von Merkmalen bzw. Aspekten, die rait dem riickseitigen Abschnitt der vorliegenden 
Erfindung zusammenhangen, ist die Heranziehung der in Fig. 9 gezeigten graphischen Darstellung erforderlich. 
Diese kann als ein Signal betrachtet werden, das gleichartig ist wie ein EEG- oder EOG-SignaL Sie ist das 
visuelle Aquivalent, das zur Beobachtung von Schlafrigkeitsmustern herangezogen werden kann. Diese graphi- 
sche Darstellung enthalt zwei unterschiedliche Kurvea Die Kurve T zeigt die Verf olgung an, wahrend die Kurve 
D den BUdunterschied anzeigt Im Bereich um das Bild 3 oder 4 kann aus der Kurve D ein Blinzeln bzw. 
Lidschlag erkannt werden. Bei dem 25. BUd liegt ein groBer Sprung sowohl bei der Kurve D als auch bei der 
Kurve T vor. Dies zeigt an, dafi das Ziel eine relativ groBe Bewegung durchgefuhrt hat (bei diesem Beispiel hat 
sich die Person leicht nach hinten gelehnt). Zu diesem Zeitpunkt kann ein neues Referenzbild erforderlich sein, 
um eine gute Kurve D fur die lidschlagerf assung zu erhalten. 

Wenn eine Person mit der Schl&f rigkeit kfimpft, treten manche der nachfolgend beschriebenen Muster auf. Ein 
Individuum kann versuchen, die Augen weit zu dffnen, zu blinzeln oder zu schielen bzw. zusammenzukneifen. 
Die Lidschlagraten dieser Muster sind recht unterschiedlich gegenOber denjenigen der Lidschlagraten in einem 
wachen Zustand. Als Beispiel ist in Fig. 10 der normale lidschlag eines Auges gezeigt und es sind die entspre- 
chenden Kurven T und D dargestellt In Fig. 11 sind eine Abfolge, wenn eine Person schlafrig ist, und die 
entsprechenden Kurven T und D gezeigt Bei Analyse dieser Kurven ist es offensichtlich, daB manche Unter- 
schiede zwischen diesen beiden graphischen Darstellungen vorhanden sind. Wenn ein solcher Unterschied 
auftritt, wird ein Warnsignal von einem Warnsystem an das Individuum abgegeben. Ein persdnliches ProfD, das 
das Verhalten der unter Beobachtung stehenden Person charakterisiert, kann dazu eingesetzt werden, die 
ZuverlassigkeitderErfassungzuverbessern, n „ , 

Wenn die Augen eines Individuums durch eine Sonnenbrille oder eine Bnlle mit hohem Reflexionsgrad 
abgedeckt sind, kdnnen spezielle aktive Lichtquellen zur Durchdringung dieser Glaser eingesetzt werden, und es 
kdnnen spezielle Abbildungssensoren (Bildsensoren) zur Aufzeichnung des BUds aus dem reflektierten licht 
herangezogen werden. Eine der Anforderungen, die an die aktive Lichtquelle gestellt werden, besteht darin, daB 
die Frequenz auBerhalb des sichtbaren Farbspektrums liegen sollte. Eine weitere Alternative wird im folgenden 
beschriebeiL Da die Person eine Brille tragt, kann eine winzige lichtqueUe und ein winziger Sensor an dem 
inneren Rand der Brille angebracht werden, um ein normales Bild zu erhalten und die Verfolgung in der 
vorstehend beschriebenen Weise durchzufuhren. 

Aufgrund der nicht invasiven Natur der vorliegenden Erfindung ist diese fQr die kommerzielle Vermarktung 
attraktiver. Eine kleine Kamera, die sich wenige FuB On etwa wenige Drittei Meter) von dem Fahrer entfernt 
befindet, ist im Vergleich zu EEG-Elektroden, die an dem Kopf des Fahrers angebracht werden, sehr viel 
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annehmlicher. Der eventuefle Markt fur ein solches, nicht invasives System zur Oberwachung der SchlafrigkehV 
Mttdigkeit umfaflt eine breite Vielzahl von Einstellungen bzw. Anwendungen einschlieBlicn monotoner und 
ermfidender Tatigkeiten wie etwa derjenigen von FlieBbandarbeitern, Luftverkehrsteucrungspersonen bzw. 
Flugzeuglotsen, Flugzeugpiloten, Assistenzfirzten oder Krankenhausarzten usw. Die vorliegende Erfindung ist 
nicht auf die beschriebene Hardware- oder Softwareausgestaltung beschrfinkt s 

Das beschriebene System zur Oberwachung der Augen einer Person weist eine Schnittstelle zu dem Men- 
schen, die zur Gewinnung von Bildern von der Person und zur Bereitstellung einer Ruckkopplung zu der Person 
dient und einen Prozessor fur die Analyse der Bilder auf. Der Prozessor wandeit eine Bildfolge in ein eindimen- 
sionales Signal durch Herausgreif en von relevanten Merkmalen aus den Bildern urn. Die Analyse des erzeugten 
Signals findet dann zur Erfassung der Schlafrigkeit statt Eine Transformation der Bildfolge beinhaltet die 10 
Augenlokalisierung, die Augenverfolgung und die Erzeugung eines Augenbewegungssignals. Das System nutzt 
die relativ hohe Horizontalkontrastdichte der Augenregion fur die Ennittlung der Augenpositionen in einem 
Grauskala- bzw. Graustuf enbild eines menschlichen Gesichts aus. 

Patentansprilche 15 

1. Vorrichtung zur Oberwachung von Augen fur die Erfassung eines Schlafverhaltens oder eines Schlafzu- 
stands, mit „ 

einer Schnittstellenvorrichtung (12, 16, 20, 22) als Mensch-Schnittstelle fur die nicht invasive Oberwachung 
der Augen einer Person, fur die Bereitstellung von abgetasteten Bildern und fur die Erzeugung einer 20 
Ruckkopplung zu der Person, und 

einer Prozessoreinrichtung (14), die mit der Schnittstellenvorrichtung verbunden est und zum Empfangen 
der abgetasteten Bilder von der Schnittstellenvorrichtung, zum Verarbeiten der abgetasteten Bilder und 
zum Zurflckleiten von verarbeiten Daten zu der Schnittstellenvorrichtung fur die Herstellung der Ruck- 
kopplung zu der Person ausgelegt ist 25 

2. System nach Anspruch 1, dadurch gekennzeichnet, daB die Prozessoreinrichtung (114) 

eine Augenlokdisierungseinrichtung (36), die mit der Schnittstellenvorrichtung verbunden ist, 

eine Augenverfolgungseinrichtung (38), die mit der Augenlokaliaeirogsemrichtung verbunden ist, 

eine Augenbewegungssignaleraeugungseinrichtung (40), die mit der Augenverfolgungseinrichtung verbun- 

denist,und . . 30 

eine Analysiereinrichtung (34) aufweist die zwischen die Augenbewegungssignalerzeugungseinnchtung 
und die Schnittstellenvorrichtung geschaltet ist 

3. System nach Anspruch 2, dadurch gekennzeichnet, daB die Schnittstellenvorrichtung 

eine Abbildungseinrichtung (12), die rait der Prozessoreinrichtung (14) verbunden ist und zum Oberwachen 
der Augen der Person dient, und 35 
eine Wamsystemeinrichtung (21) aufweist, die mit der Prozessoreinrichtung (14) zum Empfangen der 
verarbeiteten Daten von der Prozessoreinrichtung und zur Erzeugung einer Alarmgabe fur die Person 
verbunden ist , , 

4. System nach Anspruch 2 oder 3, dadurch gekennzeichnet, daB die Augenlokahsierungsemnchtung 

eine Horizontalkontrast-Berecmiungsfiltereinrichtung, 40 
eine Horizontalkontrast-Dichte-Bestinunungsffltereimrichtung, die mit der Horizontalkontrast-Berech- 
nungsflltereinrichtung verbunden ist, . « tv u 

eine Beurteilungseinrichtung zur Beurteflung der Gesichtsgeometrie, die mit der Horizontalkontrast-Dich- 
te-Bestinimungsfiltereinrichtung verbunden ist, und 

eine Augenpositiorobestimmungsemrichtung aufweist, die mit der Beurteilungseinrichtung zur Beurteilung 45 
der Gesichtsgeometrie verbunden ist m . 

5. System nach einem der Ansprfiche 2 bis 4, dadurch gekennzeichnet, daB die Augenverfolgungseinnchtung 
eine Sucheinrichtung zum Korrelieren eines Bildblocks mit einem Bild in einem aktuellen Vollbild mit sich 
verandernden Verschiebungen gegenQber einer ursprOnglichen Position aufweist 

6. System nach einem der Ansprfiche 2 bis 5, dadurch gekennzeichnet, daB die Augenbewegungssignaler- 50 
zeugungseinrichtung eine MeBeinrichtung zum Messen der Korrelation zwischen einem neuen, verfolgten 
Bildblock und einem aUerersten, anf anglichen Block, bei dem ein Auge gedffnet ist, aufweist 

7. System nach einem der Ansprfiche 2 bis 6, dadurch gekennzeichnet, daB die Analyseeinnchtung einer 
Verfolgungskurve (T) und eine Bildunterschiedskurve (D) bewertet 

8. System nach einem der vorhergehenden Ansprfiche, dadurch gekennzeichnet, daB die Prozessoreinnch- 55 
tung eine Grauskala-Korrelatoreinrichtung aufweist, die mit der Schnittstellenvorrichtung verbunden ist 

9. System nach einem der vorhergehenden Ansprfiche, dadurch gekennzeichnet, daB die Prozessoreinrich- 
tung eine Videoanzeigechipeinrichtung aufweist, die mit der Schnittstellenvorrichtung verbunden ist 

10. System nach einem der vorhergehenden Ansprfiche, dadurch gekennzeichnet, daB die Schnittstellenvor- 
richtung eine Steuereinrichtung (18) aufweist, die mit der Abbildungseinrichtung (12) zur Ermdglichung der eo 
EinsteUung des Betrachtungswinkels und der Betrachtungsrichtung der Abbildungseinrichtung durch die 
Person verbunden ist , , 

1 1. System nach einem der vorhergehenden Ansprfiche, dadurch gekennzeichnet daB die Schmttstellenvor- 
richtung eine Anzeigereinrichtung (20) zur Anzeige des Zustands Nachffihrung/veriorengegangene Nach- 
ftthrung aufweist die dazu dient die Person darfiber zu informieren, daB die Abbildungseinrichtung einer 65 

^ystem S nMh^nem der Ansprfiche 3 bis 11, dadurch gekennzeichnet daB die Abbildungseinrichtung eine 
CCD-Karaera (12) aufweist 
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13. Verfahren zur Oberwachung von Augen fur die Erfassung eines Schlafverhaltens bzw. eines Schlafzu- 
stands, mit den Schritten 

nicht invasive Oberwachung der Augen einer Person, 
Erzeugen von abgetasteten Bildern, 
Verarbeiten der abgetasteten Bilder und 
Bereitstellen einer Rttckkopplung zu der Person. 

14. Verfahren nach Anspruch 13, dadurch gekennzeichnet, daB der Schritt der Verarbeitung der abgetaste- 
ten Bilder die Schritte 

Lokalisieren der Augen, 

Verfolgung der Augen, 

Erzeugen von Augenbewegungssignalen und 

Analysieren der Augenbewegungssignale, umfaBt 

15. Verfahren nach Anspruch 14, dadurch gekennzeichnet, daB der Schritt der Lokalisierung der Augen die 
Schritte 

Horizontalkontrast-Berechnungsfilterung eines Graustufenbilds eines Gesichts zur Erzeugung eines bina- 
ren Maskenbilds, 

HorizontaUtontrast-Dichte-Bestimmungsfilterung des binaren Maskenbilds zur Erzeugung eines Graustu- 
fen-Maskenbilds, 

Durchfuhrung einer Gesichtsgeometriebeurteilung bei dem Graustufen-Maskenbild fur die Bereitstellung 
bzw. Ennittlung der ungefahren Positionen der beiden Augen, und 

DurchfQhrung einer Augenposiuonsbestimmung bezflglich des Graustufenbilds eines Gesichts und der 
ungefahren Position der beiden Augen zu Bereitstellung bzw. Ermittlung der Positionen der beiden Augen 
aufweist 

16. System zur Oberwachung von Augen fur die Erfassung eines Schlafverhaltens bzw. eines Schlafzustands, 
mit 

einer Mensch-Schnittstellenvorrichtung (12, 16, 20, 22) und 

einer Prozessoreinrichtung (14), die mit der Mensch-Schnittstellenvorrichtung verbunden ist und aufweist: 
eine Graustufen- bzw. Grauskala-Korrelatoreinrichtung, die mit der Mensch-Schnittstellenvorrichtung 
verbunden ist, 

eine Augenlokalisierungseinrichtung, die mit der Grauskala-Korrelatoreinrichtung verbunden ist, 

eine Augenverfolgungseinrichtung, die mit der Augenlokalisierungseinrichtung verbunden ist, 

eine Augenbewegungssignalerzeugungseinrichtun& die mit der Augenverfolgungseinrichtung verbunden 

ist, und 

eine Analysiereinrichtung, die mit der Augenbewegungssignalerzeugungseinrichtung und der Schnittstel- 
lenvorrichtung verbunden ist 

1 7. System nach Anspruch 16, dadurch gekennzeichnet daB die Mensch-SchnimteUenvorrichtung 

eine Abbfldungseinrichtung, die mit der Grauskala-Korrelatoreinrichtung zur Oberwachen der Augen einer 
Person verbunden ist, und 

eine Warnsystemeinrichtung aufweist, die mit der Analysiereinrichtung zum Empfangen von analysierten 
Daten von der Analysiereinrichtung und zum Erzeugen einer Warming oder Alarmgabe fur die Person 
verbunden ist 

18. System nach Anspruch 17, dadurch gekennzeichnet, daB die Mensch-Schnittstellenvorrichtung 

eine Steuereinrichtung, die mit der AbbUdungseinrichtung zur Ermdglichung einer Einstellung des Betrach- 
tungswinkets und der Betrachtungsrichtung der Abbildungseinrichtung durch die Person verbunden ist, und 
eine Indikatoreinrichtung zur Anzeige des Zustands Verfolgung/verlorengegangene Verfolgung aufweist, 
die dazu dient, die Person daruber zu inf ormieren, daB die AbbUdungseinrichtung einer Einstellung bedarf. 

19. System nach Anspruch 16, 17 oder 18, dadurch gekennzeichnet, daB die Prozessoreinrichtung eine 
Videoanzeigechipeinrichtung aufweist, die rait der Mensch-Schnittstelleneinrichtung verbunden ist 

20. System nach einem der Anspriiche 16 bis 19, dadurch gekennzeichnet, daB die Augenlokalisiereinrich- 
tung 

eine Horizontalkontrast-Berechnungsfdtereinrichtung, 

eine Horizontalkontrast-Dichte-Bestinimungsrdtereinrichtung, die mit der Horizontalkontrast-Berech- 
nungsffltereinrichtung verbunden ist, 

eine Gesichtsgeometrie-BeurteUungseinrichtung oder Eirischatztingseinrichtung, die mit der Horizontal- 
kontn^-Dichte-Besnmmungsfiltereinrichtung verbunden ist, und 

eine Augenpositionsbestimmungseinrichtung aufweist, die mit der Gesichtsgeometrie-Beurteilungseinrich- 
tung verbunden ist 

Hierzu 9 Seite(n) Zeichnungen 
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